这支乐队以前曾叫做Polka Tulk，后来改名为Earth。但是在欧洲各地巡回演出时，他们发现欧洲还有一支乐队叫做Earth，为了避免产生混淆，成员们决定再次改名。巴特勒写过一首歌，名字叫《黑色安息日》，这个名字来自一本同名小说，于是“黑色安息日”就正式成为了乐队的名字。由于乐队在演唱会上的表演很成功，所以唱片公司开始向他们频频招手。1969年, 乐队与飞利浦唱片公司（Phillips Records）签下合约。

此后, 黑色安息日迅速于70年9月推出了第二张专辑《妄想狂患者》（Paranoid）。之来，该专辑的主打歌又被做成白金盘单独发售，并打入了英国排行榜的前五强，该专辑也因此名列前茅。在美国国内，由于乐队的第一张专辑正在发售，所以这第二张专辑直到71年9月才在美国上市。一经问世再次打入了美国排行榜的前十名，并停留了长达一年之久，总销量也达到了四百万张之多。随即，乐队的第三张专辑《现实之王》（Master of Reality）也在71年8月发行。该专辑在美国和英国的排行榜上都打入了前十名，并售出上百万张的拷贝。1972年，《黑色安息日第四辑》（Black Sabbath, Vol. 4）取得的成绩与第三张不相上下。在第五张专辑《血淋淋的安息日》（Sabbath Bloody Sabbath）的制作班底中，乐队引入了“是乐队”（Yes）的的键盘手瑞克·威克曼（Rick Wakeman），他的加入给乐队的音乐方向带来小小的改变。“黑色安息日”的第五张专辑也是非常热销，不过到74年的时候，乐队因为管理问题上的分歧而一度停止了活动。当乐队带着他们的第六张专辑《大破坏》（Sabotage）重出江湖的时候，在英国受到了热烈的欢迎。而此时,美国乐坛的大环境有所变化，这使得以发行重金属风格唱片为主的黑色安息日乐队有些处境艰难，尽管这张唱片同样打入了美国的前20名，但是其销量远远没有达到前几张的水平，为此唱片公司迅速制作了一张双碟白金盘《将我们的灵魂出卖给摇滚乐》（We Sold Our Soul for Rock 'n' Roll），创下了百万张的销量。与此同时，乐队也积极酝酿，准备在风格上做出重大的改革，吉他手伊奥米想给曲子中加入更多的元素，而主唱奥斯彭却反对任何的改变，此期间的唱片《技术狂》（Technical Ecstasy）中体现出伊奥米的设想，虽然唱片的销量未能突破以前的成绩，却也相当可观。而奥斯彭却因此大感郁闷，最终于77年退出了乐队。直到78年9月，他又重返乐队，推出了乐队的第8张专辑《永不言死》（Never Say Die!），其中的主打歌虽然杀入了英国排行榜的前40名，但是却没能带动专辑的销量，不久，奥斯彭再次离开乐队，开始了单飞生涯，他的位置由“彩虹”乐队的前主唱罗尼·詹姆斯·迪欧（Ronnie James Dio）代替。